Isteri utama Duke Ling adalah Lu Yan Yi Ji, seorang puteri [Negeri []], yang tidak mempunyai anak. Waris asalnya, Putera Mahkota Guang, adalah anak Sheng Ji, anak saudara Yan Yi Ji. Duke Ling juga mempunyai sekurang-kurangnya dua gundik lain, Zhong Zi dan Zi Rong, yang kedua-duanya puteri Negeri Song. Zhong Zi melahirkan seorang anak lelaki yang dinamakan Ya, manakala Rong Zi tidak mempunyai anak tetapi mengambil Putera Ya di bawah sayap beliau. Duke Ling memihak Rong Zi, yang meminta beliau untuk membuat Prince Ya putera mahkota yang baru. Walaupun Zhong Zi membantah, Duke Ling masih menggulingkan Putera Guang dan menjadikan Putera Ya pewarisnya.[1][2]

Pada tahun 554 SM, tahun 28 pemerintahannya, Duke Ling jatuh sakit dan meninggal dunia pada bulan kelima. Menteri yang kuat Cui Zhu memasang Guang, putera mahkota asal, di atas takhta, yang dikenali sebagai Duke Zhuang II dari Qi. Cui Zhu dan Duke Zhuang membunuh Rong Zi, Putera Ya, dan saingan menteri Gao Hou, yang menyokong Putera Ya.[1][2]

Duke Ling juga mempunyai satu lagi anak bernama Chujiu, lahir satu lagi gundik Duke Ling, yang merupakan anak perempuan Shusun Xuanbo, pemimpin puak Shusun Lu. Cui Zhu kemudiannya akan membunuh Duke Zhuang dan memasang Chujiu di atas takhta, yang dikenali sebagai Duke Jing Qi.[1][2]